声学和视觉感测可以在人操纵时支持容器重量和其内容量的非接触式估计。但是，Opaquent和透明度（包括容器和内容的透明度）以及材料，形状和尺寸的可变性都会使这个问题具有挑战性。在本文中，我们向基准方法提出了一个开放框架，用于估计容器的容量，以及其内容的类型，质量和量。该框架包括数据集，明确定义的任务和性能测量，基线和最先进的方法，以及对这些方法的深入比较分析。使用单独的音频或音频和视觉数据的组合使用具有音频的神经网络的深度学习，用于分类内容的类型和数量，无论是独立的还是共同。具有视觉数据的回归和几何方法是优选的，以确定容器的容量。结果表明，使用仅使用Audio作为输入模块的方法对内容类型和级别进行分类，可分别获得加权平均F1-得分高达81％和97％。估计仅具有视觉视觉的近似接近和填充质量的容器容量，具有视听，多级算法达到65％的加权平均容量和质量分数。
translated by 谷歌翻译